连续扩散语言模型的设计空间研究
🧭 连续扩散语言模型训练设计
Apple · University of Oxford · University of Amsterdam
揭示自条件与嵌入几何机制，提出 DoubleCat 和 SemiCat 显著提升连续扩散语言模型文本生成性能
📌 工作参考价值（4 点）
- 在推荐/搜索场景中用连续扩散语言模型生成 query、文案或 push 消息时，优先关注 self-conditioning 和 embedding geometry 两个训练杠杆；DoubleCat 无需额外前向即可修正 train/inference mismatch，适合低延迟在线生成。
- SemiCat 引入 discrete reveals 后，在标准超参下即可达到离散扩散性能，且 tuned sampler 可显著提升精度；这套方法迁移成本低，适合资源有限的业务快速落地文本生成模块。
- 嵌入几何的结论表明交叉熵驱动的 embedding 解码错误率已接近 one-hot，实际部署时不必过度设计嵌入空间，可以节省算力和存储。
- 混合 corruption 过程和异步噪声调度的探索为广告文案、商品标题等可控文本生成提供了新的调参方向，值得在业务数据上做小规模验证。
现实性 vs 准确性：事件序列预测的生成建模视角
🧭 事件序列条件生成建模与评估基准
Applied AI Institute · ITMO University · Vega Institute Foundation · SB AI Lab · AXXX
提出事件序列预测基准与Wasserstein BaryBooster算法，揭示准确性与分布真实性权衡，并将扩散模型样本聚合为SOTA预测器
📌 工作参考价值（4 点）
- 评估生成式推荐/用户行为序列模型时，除 hit rate 等 accuracy 指标外，引入分布真实性指标（如 Wasserstein 距离、MMD）检测模式坍塌，避免生成结果集中在少数高频事件。
- Wasserstein BaryBooster 的思路可迁移到生成式推荐：用扩散模型生成多个候选 item 或序列，再通过最优传输聚合（如 Wasserstein barycenter）得到确定性排序或预测，将生成多样性转化为点预测精度。
- 事件序列同时包含数值特征（如交易金额）和类别特征（如商品类目），该基准的异构建模方式可参考用于电商交易序列、用户行为序列的长期预测。
- 准确性-真实性权衡的发现提醒：追求 likelihood 或逐点预测可能牺牲生成质量，应根据业务目标（如推荐多样性 vs 点击率）选择模型或设计混合策略。
生成式检索中范式、标识符与解码的解耦分析
🧭 生成式检索 · Semantic ID · 扩散解码 ★ 深度解读
Artefact Research Center
控制 AR/扩散、docid 与解码，证明解码可改变扩散 Hit@1 6.6-13.7 点，one-pass scoring 近似最优
📌 工作参考价值（4 点）
- one-pass scoring：用全 mask docid 一次前向得到 L×K 概率表，按每个候选 docid 的 code 概率求和打分，免迭代去噪，可直接作为扩散生成式推荐/检索的 top-K 召回或粗排；在本文 11/12 设置中打平或超过 generate-and-match，工程上非常适合低延迟场景。
- 训练 recipe 必须按范式独立调：AR 的高 weight decay、线性衰减直接用于扩散会使模型输出常数；扩散需要更低 weight decay、常数学习率、warmup 等。落地时不要复用 AR 训练配置。
- random ID 在训练查询覆盖充分时保留 RQ 的 83-90% Hit@1，说明语义层级结构并非核心收益来源；若业务训练曝光已足够，可先用简单 ID 或轻量语义 ID，把资源投入解码与训练稳定性。
- PQ/独立 code 在生成 miss 后 gold 更容易留在候选里（恢复率约为 RQ 的 2.3 倍），且更适合并行解码；若采用 block diffusion 或 MDLM，可优先考虑 PQ-like 或维度独立的 semantic ID，并搭配 one-pass/chain-rule 解码。
高维潜在表征的可扩散性分析
🧭 扩散模型latent几何与参数化选择
Cornell University · Adobe · Virginia Tech · University of Washington · University of Maryland
发现微调重构编码器会降低latent有效维度并使velocity prediction低效，改用x0-prediction可一致提升text-to-image生成
📌 工作参考价值（4 点）
- 生成式推荐/搜索中若使用latent diffusion在商品或用户表征上做生成，若编码器经过重构微调，应优先采用x0-prediction而非velocity prediction，可避开拟合流形外噪声方向，提升生成稳定性和收敛效率。
- 设计item/user表征autoencoder时，不要只看重构质量；重构微调可能降低有效维度、改变几何结构，需监控latent的intrinsic dimension与流形紧致度，避免下游扩散模型被迫学习大量无效方向。
- 工程实现上，flow matching的velocity目标在高维稀疏latent上常包含大量流形外分量，可在训练时快速对比x0-prediction与velocity prediction的收敛曲线，低成本验证该trick对业务生成任务的收益。
- 对使用CLIP等多模态embedding做文案/图片生成的场景，若对编码器做过重构微调，务必检查其latent几何变化，x0-prediction可能是更稳健的参数化选项。
Video DeltaNet：面向直播视频生成的视频原生混合注意力
🧭 视频生成 · 混合线性注意力加速
University of California, Berkeley · Impossible, Inc. · University of Texas at Austin
提出 Video DeltaNet，用局部 Softmax 注意力+双向线性记忆加速视频扩散，在 MiniMax H3 上实现 14.5 倍去噪加速
📌 工作参考价值（4 点）
- 混合注意力可用于用户长期行为序列建模：对最近行为用局部 Softmax 精确捕捉，对远期行为用线性 memory 压缩，控制长序列推理成本；推荐/广告的 user sequence transformer 可以尝试。
- 分阶段 teacher-alignment 是向预训练模型注入新模块的低风险方法：先固定原主干，单独训练新分支对齐教师输出，再逐步解冻联合微调；适合在已有排序/召回模型上实验新型注意力。
- 按语义单元（session/帧/事件）更新 memory 而非逐 token：直播、短视频等场景中，用户在一个 session 内的行为可以聚合更新，减少状态更新频率，同时保持序列语义完整。
- few-step distillation + 分布式 serving 可大幅压缩生成式模型推理延迟：业务上如创意文案生成、商品视频摘要等可借鉴 8 步蒸馏和 SGLang 优化栈。
可测量滑块：从可微图像测量学习连续控制
🧭 扩散模型可控生成 · 可微测量
School of Computer Science, The University of Sydney
提出Measured Sliders框架，用可微图像测量定义并学习连续图像属性控制，实现有序、选择性和可组合
📌 工作参考价值（4 点）
- 可微图像测量作为监督信号，替代文本或学习表示来定义控制轴，让生成结果的属性变化与量化指标直接对齐。在电商商品图生成或广告创意生成中，可将亮度、饱和度、色温、构图等属性定义为可微函数，训练可控LoRA。
- 可观测性测试在训练前筛选可学习属性，避免对不可控维度浪费训练资源。推荐系统或生成式推荐中可借鉴：先验证目标属性在隐空间/特征空间能否被可靠观测和优化，再投入训练。
- 多个LoRA分支存储同一checkpoint，推理时免训练组合，不依赖联合激活。可复用到多属性可控生成场景，减少多任务训练成本，且组合时保持各方向独立性，类似推荐中的多目标解耦。
- 训练后校准到实际图像变化单位，使不同控制强度可比，便于产品侧设定语义化滑块范围（如亮度+10%），提升用户体验和可控性。
SCULPT：3D 部件生成的减法组合框架
🧭 3D 生成 · 部件分解与组合
Shanghai Jiao Tong University · Huawei
提出 SCULPT，在结构化 3D 隐空间内通过联合分割预测器迭代提取部件，实现部件级生成与整体重建的协同优化
📌 工作参考价值（4 点）
- 借鉴“联合预测 + 耦合去噪”思路：在商品属性/标题/描述等多粒度生成任务中，避免先整体后拆分或先部件后拼接，而是让部分与整体在生成过程中互相条件化，减少不一致。
- 借鉴“稀疏支持重叠而非强制划分”：在结构化表示（如商品品类树、标签体系）中，允许节点/标签表示存在重叠，避免硬聚类带来的边界噪声；类似 RAG 中的 chunk 也可以重叠。
- 借鉴“迭代减法 + 自适应停止条件”：在生成多模块内容（如 banner 多区块文案、推荐理由多段生成）时，从完整草稿开始逐步剥离生成子模块，并设置安全上限，让模块数量自适应输入。
- 注意：本文是 3D 生成领域，业务直接迁移有限，主要价值在于生成式框架的设计思想。
TimeRoute：时间感知模态路由与扩散的多模态推荐
🧭 时间感知多模态融合推荐
University of Amsterdam · University of Hong Kong · Aarhus University
利用时间感知模态路由和基于扩散的图重构，动态调整多模态融合权重并抑制过时模态信号
📌 工作参考价值（4 点）
- 动态模态融合权重：电商推荐中，商品文本、图片、视频在不同时间节点的重要性不同（如大促期间视觉主导，日常文本更重要），可借鉴 TimeRoute 的时态感知路由器，用用户行为序列和交互时间戳生成个性化的模态权重，代替人工设定或全局共享权重。
- 扩散模型用于模态去噪：在做物品图或特征传播前，可以用扩散过程对模态交互边去噪，剔除因时间漂移而过时的边，减少噪声引入。FiLM 条件注入长短期时序信号的设计可复用到召回/排序的特征清洗环节。
- 双流长短时去噪头：区分长期偏好和短期兴趣对模态敏感性的差异，可以在现有推荐模型中加入类似的结构，例如在用户表征层用两个独立的编码路径分别建模长短期行为，再通过门控融合，提升对时间敏感的模态利用率。
- 工程落地方案：论文在 TikTok 和 Amazon 数据集上验证，且代码开源，适配多模态推荐场景可直接尝试迁移，尤其适合内容形态丰富、用户兴趣随时间明显漂移的业务（如电商、短视频）。
AdvFD：通过对抗 Fréchet 距离损失提升视觉生成
🧭 生成模型后训练损失改进
Peking University · KlingAI Research
提出对抗 Fréchet 距离损失（AdvFD），用可学习对抗表示与特征白化缓解 Fréchet hacking，提升视觉生成后训练
📌 工作参考价值（4 点）
- 主要是学术贡献，业务可借鉴点有限。
- 指标 hacking 值得警惕：推荐/广告中仅优化 AUC、NDCG 等静态离线指标可能类似 Fréchet hacking，可尝试引入一个可学习评估器或对抗表征来暴露被固定指标忽略的分布差异。
- 特征白化（whitening）作为对抗训练稳定技巧，可借鉴到多目标/对抗式训练（如 GAN-style 生成式召回）中，防止一侧通过放大特征范数欺骗损失。
- 生成式推荐/创意生成中，后训练阶段加入分布级对抗损失可能提升生成结果与真实分布的全局对齐，但需要进一步验证。
为艺术拆解扩散模型：交互式模型弯曲与基于实践的可解释性
🧭 交互式AI解释性 · 扩散模型弯曲
Simon Fraser University
通过交互式弯曲与检查界面，让艺术家操控扩散模型内部层以产生可预测的视觉效应
📌 工作参考价值（1 点）
- 主要是学术贡献，面向艺术创作与交互式解释性研究，电商/推荐/Agent 业务可借鉴点有限。若涉及多模态生成工具的内部解释与调控，可参考其将模型层抽象为可干预单元并构建交互界面的思路，但直接迁移至搜索推荐系统的成本较高。
MeanFlowNFT：面向平均速度生成器的前向强化学习
🧭 平均速度生成器的RL对齐
Tencent Hunyuan · The Hong Kong University of Science and Technology
构建诱导瞬时速度预测器，使MeanFlow能用前向RL优化奖励，实现快速少步生成且性能超越多步模型
📌 工作参考价值（4 点）
- 若业务采用基于流匹配的生成式检索（如生成Semantic ID），可利用诱导预测器技巧将前向RL直接用于平均速度模型，避免反向轨迹计算，实现快速对齐。
- 少步生成（如一步或四步）能大幅降低推理延迟，适合在线推荐系统，同时RL微调可显著提升生成质量。
- 恒等式桥接平均与瞬时速度的思路可推广至其他需要粗粒度预测但细粒度优化的场景，例如多步推理与一步决策的对齐。
- 严格策略改进保证为在线学习提供了安全部署的理论基础，可借鉴用于推荐模型的持续优化。
CtrlVTON：基于视觉实例提示分割的可控虚拟试穿
🧭 可控虚拟试穿 · 像素级布局控制
NXN Labs · KAIST
提出VIP-SAM实例分割与CtrlVTON图像编辑框架，首次实现试穿中服装风格、尺寸和位置的像素级控制
📌 工作参考价值（4 点）
- 可控试穿为电商商品详情页生成多样化模特图（不同穿法、松紧度），提升用户购买信心
- 配合用户偏好掩码可实现个性化虚拟试穿，增强推荐系统的可视化吸引力与解释性
- VIP-SAM分割能力可用于UGC图片中自动识别同款服装，辅助搭配推荐与社交电商
- 像素级控制思想可迁移至家居、美妆等场景，为生成式推荐提供更精细的可控生成能力
对齐即一切：面向任意模态到4D生成
🧭 多模态对齐 · 4D 生成
提出 Align4D 框架，通过对象距离对齐、运动-几何联合对齐与异步优化，实现任意模态到一致 4D 内容生成
📌 工作参考价值（4 点）
- 在电商动态商品展示生成中，可借鉴对象距离对齐思路，将输入视频/图像与 3D 模型对齐，生成多视角一致且动作连贯的商品 4D 短片，提升沉浸感。
- 运动-几何联合对齐方法可被用于个性化商品视频生成：用文本/图片指定外观，用现有视频驱动动作，同时约束几何一致性，避免变形失真。
- 异步优化技巧（解耦外观与运动训练）可迁移到生成式推荐中的动态素材生成，降低运动变形对几何结构的干扰，提高生成质量的稳定性。
- 整体框架展示了从稀疏多模态输入（文本、图像、视频、3D）合成动态内容的能力，可启发在广告创意生成中融合多源素材，自动生成统一风格的动态广告视频。
Vidu S1：支持语音控制的实时交互视频生成模型
🧭 实时交互视频生成
Tsinghua University · Shengshu Technology
实现语音控制数字角色的无限时长实时视频生成，消费级GPU上540p/42 FPS
📌 工作参考价值（4 点）
- 对于电商数字人客服/直播场景，可借鉴语音实时驱动角色视频的思路，实现低延迟交互式导购
- TurboDiffusion/TurboServe 的加速方法可能迁移到推荐系统流量侧的实时推理优化，如降低特征抽取或排序模型延迟
- 支持用户上传自定义形象和音色，类似个性化推荐中“用户自定义偏好”的模式，可启发商品推荐中的个性化表达
- 整体属于视频生成领域，与搜索推荐的核心业务关联有限，但实时交互范式对构建Agent化购物助手有参考意义
InstanceControl：无需实例标注的可控复杂图像生成
🧭 多实例可控图像生成 · VLM自动对应
Harbin Institute of Technology · HUAWEI Noah's Ark Lab
利用视觉语言模型自动建立文本描述与视觉条件间的实例级对应，消除手动标注，实现高保真多实例控制。
📌 工作参考价值（4 点）
- 在电商商品场景图生成中，可使用类似VLM自动将多个商品文本描述映射到布局或深度图的区域，省去人工标注实例位置。
- 自适应掩码细化策略可通过迭代校正噪声掩码，提升多实例属性绑定的准确性，可迁移至多模态检索或视频中目标跟踪任务。
- 该方法展示了如何利用大规模预训练模型（如VLM）的零样本能力进行细粒度对齐，可为电商广告创意生成中的多物品组合控制提供参考。
- 工程实现上，可将VLM作为插件集成到现有扩散模型生成流程中，无需额外训练数据集，降低部署成本。
Qwen-Image-2.0-RL：基于 GRPO 强化学习与在线蒸馏的图像生成后训练
🧭 图像生成后训练 · RLHF 对齐
Qwen (https://qwen.ai)
利用 GRPO 强化学习、复合奖励模型和在线蒸馏，统一提升文本到图像与图像编辑任务的视觉质量与指令遵循能力
📌 工作参考价值（4 点）
- 构建任务特定的复合奖励模型（对齐、美学、一致性等维度）的思想，可迁移到多模态推荐系统的质量评估中，用于设计更全面的用户偏好奖励函数。
- GRPO 在线强化学习结合混合 CFG 策略，在保持预训练知识的同时进行策略优化，可借鉴用于微调基于扩散模型的生成式推荐系统，避免灾难性遗忘。
- 奖励模型的 pointwise scoring + chain-of-thought 推理，能够提升奖励信号可靠性，可应用于 Agent 的任务执行评估或用户模拟器。
- On-policy 蒸馏通过轨迹级速度匹配合并多个专家模型，提供了一种无需额外标注即可整合多任务策略的有效方案，适合推荐场景中合并不同业务线微调模型。
扩散模型中时间步嵌入的冗余性研究
🧭 生成架构简化与冗余去除
Independent Researcher, Lima, Peru
证明扩散模型可在无显式时间步嵌入下达到最优，输入可隐式推断噪声尺度，实现更高效生成架构
📌 工作参考价值（4 点）
- 在基于扩散的推荐模型（如 DiffRec）中，可尝试移除时间步嵌入，利用用户交互序列或物料特征直接隐式推断噪声尺度，减少额外调制参数
- 简化时间步调制后，推理阶段无需处理时间编码，降低工程复杂度与延迟，适合在线推荐场景
- 无时间步嵌入的扩散模型可能更鲁棒，尤其在数据稀疏的冷启动场景，模型会更关注内容结构而非时间信号
- 注意力可集中于去噪网络本身的结构设计，为序列推荐中利用上下文长度、时间间隔等信息提供新思路
MakeupMirror：在妆容迁移扩散模型中提升面部属性保留
🧭 虚拟试妆 · 扩散模型精细化控制
Amazon
通过面部几何控制、区域特定调制和肤色保持，将人脸识别相似度相对提升60%，肤色差异降低50%，推理仅0.7秒
📌 工作参考价值（4 点）
- 电商虚拟试妆：引入 ControlNet 编码面部几何（如边缘、关键点），可在生成中保持人脸结构不变，适合直接移植到在线试妆服务
- 区域特定调制：通过皮肤、眼唇等区域 mask 分别控制 makeup 强度和风格，避免溢出，提升妆容自然度，可迁移至商品图上局部修饰
- 肤色保持模块：跨人妆容迁移时根据源肤色调整参考妆容色彩，防止肤色漂移，增强用户信任，这对生产级 VTO 至关重要
- 加速采样：使用 Levenberg-Marquardt Langevin 采样器，将 50 步扩散降至 0.7s 推理，平衡质量与速度，适合移动端部署
文本-视觉协同指令的图像编辑
🧭 文本视觉协同的图像编辑
The Hong Kong Polytechnic University · OPPO Research Institute
融合文本语义与拖拽/点击等视觉指令，实现空间可控且语义保真的图像编辑
📌 工作参考价值（4 点）
- 文本与视觉提示协同的思路可借鉴到多模态商品检索，如允许用户上传图片并辅以文字说明区域编辑意图，提升交互精准度
- 利用视频帧间差异自动构建编辑指令对的数据构造方法，可迁移到商品视频生成任务中，用于获得带空间标注的训练数据
- TV-Edit-Bench 的多维度评估（语义忠实度、空间对齐、视觉一致性）可启发电商图像编辑场景的离线评估指标设计
- 将稀疏视觉指令提升为语义感知控制表示的模块化设计，可启发多模态推荐中融合细粒度空间意图的架构
扩散模型解决冷启动推荐的跷跷板困境
🧭 冷启动物品推荐 · 扩散模型生成表示 ★ 深度解读
Shanghai Jiao Tong University · Xiaohongshu Inc.
提出DiffCold扩散框架，用检索增强聚合与模拟对齐统一温冷表示，同时提升冷热物品性能
📌 工作参考价值（4 点）
- 扩散模型用于物品嵌入生成：用内容特征作为条件引导逆扩散过程，在温物品上训练，对冷物品生成与温物品分布一致的嵌入，电商可直接移植到新品冷启动，避免跷跷板困境。
- 检索增强的起点初始化：对冷物品，基于内容相似度检索top-k温物品，聚合其嵌入作为扩散起点，远优于纯噪声，保留个性化信息，工程实现简单，适合大规模线上推理。
- 模拟表示对齐训练技巧：训练时用温物品的内容和聚合起点模拟冷生成过程，并通过对比学习对齐到真实温表示，这种“模拟冷启动”的对齐策略可推广到其他生成式表示学习场景。
- 轻量级扩散设计：步数T=20、线性调度即可达最优，时间开销与普通模型持平，证明扩散模型在推荐系统中能够兼顾效果与效率，可低成本部署。
MaskAlign: 用于高效扩散训练的 Token 子集表示对齐
🧭 高效扩散模型训练 · Token 子集对齐
The Hong Kong University of Science and Technology · Kuaishou Technology · University of Chinese Academy of Sciences
提出随机 Token 子集对齐与预掩码混合，大幅加速扩散 Transformer 训练并提升生成质量。
📌 工作参考价值（4 点）
- 主要是学术贡献，面向电商/推荐/AI 业务可借鉴点有限，但以下思路可参考：
- 训练跨模态对齐模型（如商品图文匹配）时，可尝试随机屏蔽部分 token 进行子集对齐，并引入轻量 token mixing 模块，增强对不完整输入的鲁棒性。
- 梯度分析定位重要 token 的方法可迁移用于诊断推荐模型的特征对齐过程，识别哪些用户行为 Token 更关键。
- 随机子集采样减少了对齐所需计算量，可作为训练加速 trick 在资源受限时使用。
知识应在何处介入？多模态迭代生成模型的知识注入分层框架
🧭 多模态生成模型的知识注入与安全对齐 ★ 深度解读
University of South Carolina · Indian AI Research Organization
将知识注入视为干预层问题，提出表面、轨迹、潜在、参数四层框架，多层组合可互补降低70.97%的知识违规。
📌 工作参考价值（4 点）
- 按失败类型分层干预：输入侧知识改写解决 prompt 级问题，生成中轨迹/潜在干预修正结构违规，输出侧过滤残留 artifact，可借鉴到生成式推荐的结果后校验与中间状态调控。
- 共享知识源统一控制：所有层查询同一个知识图谱，避免冲突，在推荐系统里可作为统一的事实约束源，用于物品属性合规、敏感概念过滤。
- 训练自由的推理时堆叠：所有干预均不修改扩散 backbone，适合冻结大模型快速上线，推荐场景下可对已有生成模型叠加业务规则而无需重训。
- 组合互补优于单层：实验表明单层输入端只能降部分违规，叠加中间层和输出层能持续提升，推荐安全对齐可采纳类似堆叠策略。
复杂度平衡的扩散分治策略
🧭 扩散模型·时间维度分治与动态容量分配
The Hebrew University of Jerusalem
基于等分布原理将扩散过程切分为等难度子任务并分配专用子网络，在不增加推理成本下显著提升生成质量。
📌 工作参考价值（4 点）
- 动态算力分配思路可迁移至生成式推荐：电商中的生成式推荐（如物品标题、理由生成）若采用扩散范式，可借鉴 CBS 按生成阶段难度分配模型容量，将困难阶段（如构建语义 ID 的后期细粒度部分）用更大子网络处理，提升生成质量而不增加总推理成本。
- 复杂度估计的轻量方案：使用袖珍辅助模型预测不同时间步的近似难度（Dirichlet 能量或轨迹加速度），无需昂贵搜索。在推荐场景中，可对 embedding 生成过程建立类似的复杂度度量，指导 MoE 专家网络的选择或自适应推理步数。
- 分治思想用于多智能体协调：Agent 系统中处理长链路任务时，可根据任务片段复杂度动态分配不同能力的 Agent，类似 CBS 按时间分片分配子网络，提高整体协作效率。
- 训练时的阶段型容量分配：在训练生成式推荐模型时，可参考 CBS 的等分布原则，让不同训练阶段（如从噪声到语义）使用不同容量的小模型，节省训练资源，适合大规模电商模型的高效训练部署。
基于偏好解耦的时间感知扩散生成式推荐
🧭 生成式推荐 · 时间感知扩散与偏好解耦 ★ 深度解读
Central South University · National Super Computing Center (Tianjin) · Renmin University of China · Hong Kong Polytechnic University
首次将时间演化偏好解耦为长期与短期，并融入扩散过程的非均匀掩码，提升生成式推荐。
📌 工作参考价值（4 点）
- 非均匀掩码策略可迁移至电商序列推荐：对近期交互和行为突变点施以更高掩码率，迫使模型学习短期兴趣与长期规律的权衡，提升下次购买预测。
- 两阶段训练（warm‑up + time‑aware）如同预训练‑微调，先在通用语义空间学习 SID 共现，再注入时间与偏差信号，工程上易于实现且稳定。
- 偏好解耦思路（period 偏好 + point 偏好）可直接用于 Agent 决策序列建模，区分持久策略与情境突变，提高多智体协作中的策略生成质量。
- 约束解码与 Trie 树的结合确保生成 SID 对应有效物品，避免幻觉，适合落地到电商生成式召回或 query 推荐中。
CollectionLoRA：将50种效果及加速能力蒸馏进单一LoRA
🧭 多LoRA合并与蒸馏
Zhejiang University · Qwen Applications Business Group of Alibaba · Xi'an Jiaotong University
多教师在线蒸馏框架，将多个效果LoRA与少步生成合并为一个LoRA，消除参数干扰并降低部署成本
📌 工作参考价值（4 点）
- 多任务LoRA合并部署：若业务中存在多个LoRA用于不同下游任务（如客服、商品描述生成、搜索改写等），可借鉴多教师蒸馏将多个LoRA的知识压缩到单一LoRA中，减少动态加载开销，并避免级联多个LoRA时的特征干扰。
- 随机数据流切换增强泛化：Probabilistic Dual-Stream Routing 在训练时随机切换数据源，类似技巧可用于多任务推荐模型的训练，通过在不同任务数据流间随机切换，提升模型对未见任务组合的泛化能力。
- 提示空间概念隔离：Asymmetric Orthogonal Prompting 通过正交提示隔离不同概念，此思想可迁移到生成式推荐中的多属性控制，例如用正交提示向量区分“风格”与“品类”，避免生成时属性混淆。
- 粗到细蒸馏缓解分布差距：Coarse-to-Fine Distillation 从输出分布粗对齐逐步过渡到特征细对齐，可应用于推荐模型蒸馏，尤其当教师模型远大于学生模型时，分阶段对齐有助于提升蒸馏效果。
Bernini：通过潜在语义规划统一视频生成与编辑
🧭 视频生成 · 语义规划
Bytedance
将 MLLM 语义规划与 DiT 像素渲染解耦，模块化组合实现高效视频生成与编辑
📌 工作参考价值（4 点）
- 模块化生成框架：将视频生成拆分为语义规划（MLLM）与像素渲染（DiT）两个独立模块，可在电商商品视频生成中复用预训练 MLLM 的视觉理解能力，降低渲染器迭代成本。
- 语义级接口设计：使用 ViT embedding 作为中间表示，让规划与渲染仅需轻量联合训练，适合业务中快速适配新的编辑需求，如虚拟试穿、商品展示变换。
- SA-3D RoPE 位置编码：处理多帧、多视角输入时，段感知的 3D 旋转位置编码可迁移至多模态推荐中的视频理解编码器，提升长序列时空表征。
- 推理链引入生成：在规划器中加入 chain-of-thought ，能将复杂编辑指令分解为中间步骤再生成语义计划，可借鉴到 Agent 的视觉生成任务，提高指令遵循性。
扩散教师模型期望的方差减少
🧭 扩散模型下游任务梯度方差优化
NVIDIA · University of Toronto · Princeton University
CARV通过分层蒙特卡洛估计摊销昂贵前向计算，以2-3倍有效计算倍乘降低下游梯度方差
📌 工作参考价值（4 点）
- 在推荐系统使用扩散模型做内容生成或特征提取时，可采用廉价噪声重采样摊销昂贵前向计算的模式：将多次去噪步的共享计算提前完成，仅在最终步或采样时重新采样噪声，大幅降低推理/训练成本。
- 当目标函数涉及对时间步的期望时，可借鉴重要性采样+分层逆CDF，根据梯度方差分布动态调整时间步采样概率，在电商多模态模型（如视频生成）中减少约25%的噪声估计方差。
- 构建计算感知的方差核算框架，显式衡量不同随机源的方差贡献与计算开销，辅助决策哪些组件值得投入更多采样预算——这不限于扩散模型，Agent多步推理中的蒙特卡洛估计同样可应用。
- 在单步蒸馏等场景，若梯度方差已非瓶颈，大幅降低方差未必提升下游指标（如FID），提示业务中应优先诊断瓶颈后再投入方差优化资源。
FlowLong：基于流形约束Tweedie匹配的推理时长视频生成
🧭 长视频生成 · 推断时优化
KAIST · Amazon
在推理时通过滑动窗口重叠的Tweedie匹配与随机早期采样实现无训练、架构无关的长视频生成
📌 工作参考价值（4 点）
- 长序列生成的一致性控制：对于电商场景中需要生成长商品描述、营销故事或多模态内容时，可借鉴滑动窗口重叠与Tweedie匹配机制，在序列拼接处保持语义和风格连贯，避免内容漂移。
- 无需重新训练的低成本扩展：该推理时方法无需额外微调模型，可直接应用于已部署的视频/文本生成模型，快速赋予其生成长内容的能力，适合业务快速迭代。
- 随机早期采样抑制重复模式：在生成过程的早期阶段注入噪声，能有效避免自回归生成中的重复和单调问题，这一思路可迁移至对话式推荐或交互式叙事生成，提升内容多样性。
- 架构无关的插件化设计：方法不依赖特定模型结构，对Transformer或扩散模型均适用，为已有生成系统提供统一的长序列生成插件，降低集成成本。
概率守恒流形引导：自适应流形引导方法AdaMaG
🧭 扩散模型引导 · 概率守恒
University of Bristol · KAIST
提出零推理成本的AdaMaG，通过散度与分数平行项衰减，在流扩散生成中保持概率守恒，解决CFG强引导下的饱和与伪影。
📌 工作参考价值（4 点）
- 扩散生成式推荐/内容生成的引导优化：若使用扩散模型生成电商文案或创意，强条件引导常导致失真，可直接用AdaMaG替换CFG组合公式，不增加推理耗时，保持生成质量与条件符合度。
- 引导问题的理论分析框架：基于连续性方程分解的散度项和分数平行项，可迁移分析文本扩散模型中引导过强的崩塌现象，帮助设计衰减策略。
- 时间依赖调度即插即用：AdaMaG的时间衰减调度是独立于模型的、无需重训练的启发式规则，可在现有流匹配/扩散管道中直接嵌入，适合快速落地验证。
- 可控生成与真实度平衡：强约束场景（如节日大促风格控制）下，可利用分数平行项衰减控制去饱和程度，稳定生成质量。
利用推理时引导实现组合式视频生成
🧭 组合视频生成 · 推理时引导
Tel-Aviv University · Independent Researcher · Bar Ilan University · NVIDIA Research
基于交叉注意力图训练轻量组合分类器，在推理时引导冻结T2V模型提升组合正确性，无需微调
📌 工作参考价值（4 点）
- 推理时引导范式可迁移：在电商图文生成或Agent多模态响应中，若需精确控制实体间关系/属性组合，可利用预训练模型内部的交叉注意力图训练轻量组合分类器，在解码早期步骤注入梯度引导，避免重训基座模型。
- 冻结大模型+外部引导头：不微调生成模型本身，仅外挂一个基于冻结VLM backbone的分类器，保持基座模型的泛化能力，适合快速适配新的组合约束（如商品多属性描述、活动文案组合语）。
- 无布局/框的弱监督组合控制：无需用户提供空间布局或检测框，仅靠文本提示即可隐式约束组合关系，对电商场景中大批量自动化内容生成（如商品详情视频）有工程简洁性优势。
- 注意力特征重用：利用扩散模型已有的交叉注意力图作为组合性特征，训练开销小，可直接嵌入现有生成pipeline，适合资源受限的业务环境进行组合性提升。
扩散模型多任务训练的在线策略蒸馏视角统一
🧭 多任务扩散模型训练 · 在线策略蒸馏
提出 DiffusionOPD，通过在线策略蒸馏将多个任务教师知识融入统一学生，实现多任务扩散模型高效训练
📌 工作参考价值（4 点）
- 多任务扩散模型训练中，独立训练专家教师再通过在线蒸馏合并到一个学生，可避免联合训练的任务干扰与灾难性遗忘，适合电商多目标生成场景（如多风格 banner 生成或多场景推荐解释生成）。
- 使用学生自身 rollout 轨迹进行蒸馏（而非教师轨迹），能更好地对齐学生当前分布，提升蒸馏效率，这一技巧可直接迁移到生成式推荐的扩散模型微调。
- 导出的闭式 per-step KL 目标提供低方差梯度，能稳定 RL 训练，可应用于基于扩散模型的用户行为序列生成或交互式多臂老虎机推荐。
- 确定性 ODE 与随机 SDE 的统一 mean-matching 公式，为实际部署中采样器选择提供依据，减少推理代价，对需要实时响应的推荐系统有益。
PRISM：用于扩散文本图像超分的先验校正与不确定性结构建模
🧭 文本图像超分辨率 · 扩散模型
通过流匹配先验校正和不确定性感知残差编码，实现单步扩散的文本图像超分辨率
📌 工作参考价值（3 点）
- 扩散模型中利用流匹配对隐空间先验进行校正的思路，可迁移到序列生成任务（如用户行为序列还原），通过构建高低质量隐变量对学习修正映射，提升生成可靠性。
- 不确定性引导的残差学习可用于多模态特征融合，对置信度低的模态特征进行抑制，避免噪声扩散，适合电商场景中不完整商品描述等。
- 单步扩散的加速技巧（如蒸馏、流匹配一步生成）可应用于实时推荐系统中的内容生成（如标题、摘要），降低推理延迟。
Realiz3D：通过域感知学习实现照片级真实3D生成
🧭 解耦域与控制，缩小合成到真实域差距
解耦控制信号与视觉域，引入域协变量适配器，在保持真实感的同时实现3D可控生成
📌 工作参考价值（4 点）
- 商品图生成中，使用合成3D数据微调扩散模型时，可通过解耦控制信号（如视角、材质）与域指示符，避免生成图像变得“像渲染图”，保持照片级真实感。
- 引入可学习的残差适配器来编码域信息，是一种轻量多域融合方案，电商场景下可复用：一个基座模型，通过切换适配器生成不同风格（写实、插画、3D渲染等）。
- 针对扩散模型不同层和去噪步骤的分析启示：早期步骤负责全局结构，后期步骤聚焦纹理细节，可将几何控制注入深层，材质控制注入浅层，从而在不牺牲真实性的前提下提升可控性。
- 推理时可通过调整域适配器的权重，平滑插值于合成与真实域之间，实现可控的风格迁移，用于商品背景替换或虚拟试穿场景。